ComfyUI InstantID

diffusersを使用しないInstantIDのComfyUIネイティブ実装

準備

ComfyUI managerからインストール

各種モデルのダウンロード

$ path\to\ComfyUI\models\instantid

$ path\to\ComfyUI\models\controlnet\InstantID

解凍してpath\to\ComfyUI\models\insightface\models

https://gyazo.com/a4213b144081a1267432874bfc09c1f4

SDXLのみ

CFGは4 ~ 5以下にする必要がある

RescaleCFGノードをおすすめしているけれど、DPM++ 2M Karrasとの相性は良くなかった

サンプルではSDXL Turboを使っていて、そちらとは相性が良い

1024 × 1024だと透かしが入ることがあるため1016 × 1016等、少しずらしたほうが良い

image_kpsには顔の位置と向きを決めるキーポイント画像を入力するが、なにも入れなかった場合は、reference画像の顔の位置情報を使う

https://gyazo.com/93c6bccf1e43be8fb72b5f8d4784870f

FaceKeypointsPreprocessorノードでキーポイントを別で作って入力することもできる

生成されるポーンが小さすぎたり無かったりすると全く似なくなるので注意

ControlNetが顔の構造、IP-Adapterが顔のID(パーツ)を扱う特徴上、ApplyInstantIDノード(IP-Adapter)はあまり重要ではない

重要ではないというより、weightを値を上下させてもあまり変化しない

また、複数の入力画像をいれることも出来る

精度が上がっているかは分かんないですnomadoor.icon

アップデートにより以前のworkflowは全く動かなくなった